Pada 10 Mac 1526, Charles berkahwin dengan sepupunya, Isabella dari Portugal, adik perempuan John III dari Portugal, dan dikurniakan dengan tiga orang anak, iaitu:

• Philip II dari Sepanyol (1527 - 1598), putera tunggal yang mencapai kedewasaan;
• Maria dari Sepanyol (1528 - 1603) yang berkahwin dengan sepupunya, Maximilian II, Maharaja Suci Rom; dan
• Juan dari Sepanyol (1535 - 1573).

Charles juga terkenal kerana mempunyai banyak perempuan simpanan. Dua antara mereka melahirkan dua orang anak lelaki yang kemudian menjadi Gabenor-gabenor Habsburg Belanda:

• Johanna Maria van der Gheynst yang melahirkan Margaret dari Parma; dan
• Barbara Blomberg yang melahirkan John dari Austria.